<!doctype html>



  


<html class="theme-next mist use-motion" lang="zh-Hans">
<head>
  <meta charset="UTF-8"/>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1"/>



<meta http-equiv="Cache-Control" content="no-transform" />
<meta http-equiv="Cache-Control" content="no-siteapp" />












  
  
  <link href="/lib/fancybox/source/jquery.fancybox.css?v=2.1.5" rel="stylesheet" type="text/css" />




  
  
  
  

  
    
    
  

  

  

  

  

  
    
    
    <link href="//fonts.googleapis.com/css?family=Lato:300,300italic,400,400italic,700,700italic&subset=latin,latin-ext" rel="stylesheet" type="text/css">
  






<link href="/lib/font-awesome/css/font-awesome.min.css?v=4.6.2" rel="stylesheet" type="text/css" />

<link href="/css/main.css?v=5.1.0" rel="stylesheet" type="text/css" />


  <meta name="keywords" content="机器学习," />





  <link rel="alternate" href="/atom.xml" title="Kingname" type="application/atom+xml" />




  <link rel="shortcut icon" type="image/x-icon" href="/favicon.ico?v=5.1.0" />






<meta name="description" content="多特征在现实的问题中，特征变量往往不仅仅只有一个。我们评估一个人能否成为一个人生赢家，不仅仅要考虑他的家产，还有考虑他的父亲的背景，和他的X能力，他的朋友圈，他的长相，他的身高，体重，等等。这个时候，我们就得到了类似于下面这一个方程：

方程中，各个下标的x分别表示各个不同的特征。这里我只选择了三个特征。
这就叫做多元线性回归。
梯度下降多变量的梯度下降对于上面这种具有多个特征的情况，我们仍然可以">
<meta property="og:type" content="article">
<meta property="og:title" content="机器学习（二）">
<meta property="og:url" content="http://kingname.info/2016/01/19/ml2/index.html">
<meta property="og:site_name" content="Kingname">
<meta property="og:description" content="多特征在现实的问题中，特征变量往往不仅仅只有一个。我们评估一个人能否成为一个人生赢家，不仅仅要考虑他的家产，还有考虑他的父亲的背景，和他的X能力，他的朋友圈，他的长相，他的身高，体重，等等。这个时候，我们就得到了类似于下面这一个方程：

方程中，各个下标的x分别表示各个不同的特征。这里我只选择了三个特征。
这就叫做多元线性回归。
梯度下降多变量的梯度下降对于上面这种具有多个特征的情况，我们仍然可以">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/mutij.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/rep.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/sc.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/learnrate.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/fenbu.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/poly-1.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/transfer.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/n1-1.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/n2-1.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/x.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/y.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/theta.PNG">
<meta property="og:image" content="http://ghost.kingname.info/content/images/2016/01/qrcode_for_gh_2873653fd7af_430--1-.jpg">
<meta property="og:updated_time" content="2016-11-30T13:56:26.000Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="机器学习（二）">
<meta name="twitter:description" content="多特征在现实的问题中，特征变量往往不仅仅只有一个。我们评估一个人能否成为一个人生赢家，不仅仅要考虑他的家产，还有考虑他的父亲的背景，和他的X能力，他的朋友圈，他的长相，他的身高，体重，等等。这个时候，我们就得到了类似于下面这一个方程：

方程中，各个下标的x分别表示各个不同的特征。这里我只选择了三个特征。
这就叫做多元线性回归。
梯度下降多变量的梯度下降对于上面这种具有多个特征的情况，我们仍然可以">
<meta name="twitter:image" content="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG">



<script type="text/javascript" id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/',
    scheme: 'Mist',
    sidebar: {"position":"left","display":"post"},
    fancybox: true,
    motion: true,
    duoshuo: {
      userId: '0',
      author: '博主'
    },
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>



  <link rel="canonical" href="http://kingname.info/2016/01/19/ml2/"/>





  <title> 机器学习（二） | Kingname </title>
</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  










  
  
    
  

  <div class="container one-collumn sidebar-position-left page-post-detail ">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-meta ">
  

  <div class="custom-logo-site-title">
    <a href="/"  class="brand" rel="start">
      <span class="logo-line-before"><i></i></span>
      <span class="site-title">Kingname</span>
      <span class="logo-line-after"><i></i></span>
    </a>
  </div>
  <p class="site-subtitle">给时光以生命。</p>
</div>

<div class="site-nav-toggle">
  <button>
    <span class="btn-bar"></span>
    <span class="btn-bar"></span>
    <span class="btn-bar"></span>
  </button>
</div>

<nav class="site-nav">
  

  
    <ul id="menu" class="menu">
      
        
        <li class="menu-item menu-item-home">
          <a href="/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-home"></i> <br />
            
            首页
          </a>
        </li>
      
        
        <li class="menu-item menu-item-archives">
          <a href="/archives" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-archive"></i> <br />
            
            归档
          </a>
        </li>
      
        
        <li class="menu-item menu-item-tags">
          <a href="/tags" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-tags"></i> <br />
            
            标签
          </a>
        </li>
      
        
        <li class="menu-item menu-item-tweet">
          <a href="/tweet" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-twitter"></i> <br />
            
            时间
          </a>
        </li>
      
        
        <li class="menu-item menu-item-about">
          <a href="/about" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-user"></i> <br />
            
            关于
          </a>
        </li>
      

      
    </ul>
  

  
</nav>



 </div>
    </header>

    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  <article class="post post-type-normal " itemscope itemtype="http://schema.org/Article">
  <link itemprop="mainEntityOfPage" href="http://kingname.info/2016/01/19/ml2/">

  <span style="display:none" itemprop="author" itemscope itemtype="http://schema.org/Person">
    <meta itemprop="name" content="Kingname">
    <meta itemprop="description" content="">
    <meta itemprop="image" content="/images/avatar.png">
  </span>

  <span style="display:none" itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
    <meta itemprop="name" content="Kingname">
    <span style="display:none" itemprop="logo" itemscope itemtype="http://schema.org/ImageObject">
      <img style="display:none;" itemprop="url image" alt="Kingname" src="">
    </span>
  </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">
            
            
              
                机器学习（二）
              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">
            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              <span class="post-meta-item-text">发表于</span>
              <time title="Post created" itemprop="dateCreated datePublished" datetime="2016-01-19T22:32:10+08:00">
                2016-01-19
              </time>
            

            

            
          </span>

          
            <span class="post-category" >
              <span class="post-meta-divider">|</span>
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              <span class="post-meta-item-text">分类于</span>
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/机器学习/" itemprop="url" rel="index">
                    <span itemprop="name">机器学习</span>
                  </a>
                </span>

                
                
              
            </span>
          

          
            
              <span class="post-comments-count">
                <span class="post-meta-divider">|</span>
                <a href="/2016/01/19/ml2/#comments" itemprop="discussionUrl">
                  <span class="post-comments-count ds-thread-count" data-thread-key="2016/01/19/ml2/" itemprop="commentCount"></span>
                </a>
              </span>
            
          

          

          
          

          

          

        </div>
      </header>
    


    <div class="post-body" itemprop="articleBody">

      
      

      
        <h2 id="多特征"><a href="#多特征" class="headerlink" title="多特征"></a>多特征</h2><p>在现实的问题中，特征变量往往不仅仅只有一个。我们评估一个人能否成为一个人生赢家，不仅仅要考虑他的家产，还有考虑他的父亲的背景，和他的X能力，他的朋友圈，他的长相，他的身高，体重，等等。这个时候，我们就得到了类似于下面这一个方程：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG" alt=""></p>
<p>方程中，各个下标的x分别表示各个不同的特征。这里我只选择了三个特征。</p>
<p>这就叫做多元线性回归。</p>
<h2 id="梯度下降"><a href="#梯度下降" class="headerlink" title="梯度下降"></a>梯度下降</h2><h3 id="多变量的梯度下降"><a href="#多变量的梯度下降" class="headerlink" title="多变量的梯度下降"></a>多变量的梯度下降</h3><p>对于上面这种具有多个特征的情况，我们仍然可以使用梯度下降算法来求最各个下标的θ，从而使代价函数最小。</p>
<p>多元线性规划的代价函数如图：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/mutij.PNG" alt=""></p>
<p>通过代价函数求θ的算法如下：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/rep.PNG" alt=""></p>
<p>可以看到，这个算法相当的复杂。不过还好现在可以让计算机帮我们计算。</p>
<h3 id="特征缩放"><a href="#特征缩放" class="headerlink" title="特征缩放"></a>特征缩放</h3><p>用一个例子来表述什么叫做特征缩放：小时候，我一个月的零用钱只有20元，掉了5元我就会感到很心痛。但是现在，掉了100元我也觉得没有什么。对于一些土豪，一万元也只是毛毛雨。</p>
<p>通过这个例子我想表达的是，做对比的时候应该要在同一个数量级下面，才有可比性。对于多元线性规划同样如此。</p>
<p>对于有多个特征的情况，假设一个特征的变化是1-10，另一个特征的变化是10000-20000，在这种情况下，使用：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG" alt=""></p>
<p>这个公式来计算的时候，较小的那个特征就会被较大的那个特征掩盖。这样造成的后果就是，使用梯度下降的时候，迭代次数会非常大才能收敛，效率非常的低。</p>
<p>为了解决这个问题。我们就需要使用特征缩放。</p>
<p>特征缩放分为普通的缩放和归一化特征缩放。其中普通的特征缩放是归一化特征缩放的特殊情况。我们用公式来说话：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/sc.PNG" alt=""></p>
<p>这是归一化特征缩放的公式。在这个公式中，:=表示赋值，也就是说，这个值用缩放以后的值来代替。等号右边的分子上，减号左侧的项表示每个特征的某一个具体的样本值，减号右侧的项表示每个特征所有数据的平均值。S表示每个特征说有样本中，最大值减去最小值。</p>
<p>对于非归一化的特征缩放，令分子中，减号右侧的项恒为零。（不支持输入上下标真是太麻烦了。。。。）</p>
<p>这样的好处是，可以使得各个特征的样本的大小都转化到-1到1之间，减少由于差距太大导致的误差。并大大降低梯度下降的迭代次数。</p>
<h3 id="学习率"><a href="#学习率" class="headerlink" title="学习率"></a>学习率</h3><p>我们知道，在梯度下降公式里面有一个参数ɑ， 这个参数的名字叫做学习率。这个参数决定了梯度下降的快慢。</p>
<p>一般来说，需要根据经验选择合适的ɑ，如果ɑ太小，梯度下降会收敛很慢，需要迭代很多次才能得到结果。但是如果ɑ太大，就会导致梯度下降发散，从而完全得不到正确的结果。所谓步子太大容易扯着蛋。</p>
<p>但是我们可以使用一个图来帮助我们确定ɑ。我们首先假设ɑ=0.1， 然后，迭代几百次（当然是用计算机来帮忙），分别计算此时代价函数的值j(θ).在一个直角坐标系上，横坐标为迭代次数，纵坐标为j(θ)作图。</p>
<p>一般来说，会得到下图中三种不同的趋势：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/learnrate.PNG" alt=""></p>
<p>其中绿色就是收敛比较快的，这个学习率是比较符合要求的；而蓝色的线表示学习率太低，需要稍稍增大；红色表示学习率太大，需要减小。</p>
<p>另外，根据这个图，当图像趋近于渐进线或者随着迭代次数增加，j(θ)变化很小的时候，就表示迭代完成了，这个时候的θ值也就是我们需要的结果了。</p>
<h2 id="特征与多项式回归"><a href="#特征与多项式回归" class="headerlink" title="特征与多项式回归"></a>特征与多项式回归</h2><p>在机器学习的过程中，涉及到的变量是有很多的，现实中的问题不会像一元线性规划那么简单。所以对于采集到的数据来说，也必然不是分布呈一条直线那么简单。如下图：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/fenbu.PNG" alt=""></p>
<p>这个时候，拟合出来的曲线就不是一条直线了。</p>
<p>在高等数学中可以证明，可以使用一个多项式级数（又叫<a href="https://zh.wikipedia.org/wiki/%E5%B9%82%E7%BA%A7%E6%95%B0" target="_blank" rel="external">幂级数</a>）来近似的表示一条曲线的解析式。在可以接受的误差范围内，只需要多项式的前若干项即可。</p>
<p>所以，对于样本点，总可以找到这样一个多项式，使其代表的图像穿过尽量多的点：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/poly-1.PNG" alt=""></p>
<p>这里我只取了前三项，在实际情况中可能会有十多项或者几十上百项。</p>
<p>对于这种形式，我们又如何分别求各个下标的θ呢？这个时候就可以使用一个等价来处理了。</p>
<p>我们令：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/transfer.PNG" alt=""></p>
<p>于是方程转化为：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/newfunc.PNG" alt=""></p>
<p>这样我们就可以使用梯度下降来求各个下标的θ了。</p>
<h2 id="正规方程"><a href="#正规方程" class="headerlink" title="正规方程"></a>正规方程</h2><p>使用梯度下降需要设定学习率，如果学习率选定的不好，轻则梯度下降收敛慢，效率低，重则直接发散，无法得到结果。</p>
<p>而是用正规方程就可以解决这个问题。正规方程不需要迭代，也不需要选择学习率，只需要解一个矩阵方程就能得到结果。</p>
<p>首先看下图，这是一个三元的线性规划问题：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/n1-1.PNG" alt=""></p>
<p>首先增加一个第0列，变成如下图所示：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/n2-1.PNG" alt=""></p>
<p>然后我们做一个矩阵X使得：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/x.PNG" alt=""></p>
<p>同时作一个<strong>y</strong>向量：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/y.PNG" alt=""></p>
<p>这个时候，就有：</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/theta.PNG" alt=""></p>
<p>使用Matlab或者Octave计算，就能得到使得代价函数最小的各个下标的θ了。</p>
<h2 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h2><p>这一周讲的是多元线性规划和使用梯度下降求解多元线性规划的问题。同时讲解了计算梯度下降的两个技巧，分别是特征缩放和学习率的选择。最后讲解了正规方程，在特征数小于10000的时候，使用正规方程，可以大大减小计算的压力。</p>
<h3 id="小广告："><a href="#小广告：" class="headerlink" title="小广告："></a>小广告：</h3><p>欢迎大家关注我的微信公众号：未闻Code</p>
<p><img src="http://ghost.kingname.info/content/images/2016/01/qrcode_for_gh_2873653fd7af_430--1-.jpg" alt=""></p>

      
    </div>

    <div>
      
        
<div id="wechat_subscriber" style="display: block; padding: 10px 0; margin: 20px auto; width: 100%; text-align: center">
    <img id="wechat_subscriber_qcode" src="/images/wechatplatform.jpg" alt="Kingname wechat" style="width: 200px; max-width: 100%;"/>
    <div>第一时间获取最新文章更新，请订阅我的微信公众号：未闻Code</div>
</div>


      
    </div>

    <div>
      
        

      
    </div>


    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/tags/机器学习/" rel="tag"># 机器学习</a>
          
        </div>
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/2016/01/11/ml-1/" rel="next" title="机器学习（一）">
                <i class="fa fa-chevron-left"></i> 机器学习（一）
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/2016/05/19/screenshot/" rel="prev" title="使用Python保存截图">
                使用Python保存截图 <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </article>



    <div class="post-spread">
      
    </div>
  </div>


          </div>
          


          
  <div class="comments" id="comments">
    
      <!-- 来必力City版安装代码 -->
		<div id="lv-container" data-id="city" data-uid="MTAyMC8yOTA1MS81NjIw">
			<script type="text/javascript">
		   (function(d, s) {
		       var j, e = d.getElementsByTagName(s)[0];

		       if (typeof LivereTower === 'function') { return; }

		       j = d.createElement(s);
		       j.src = 'https://cdn-city.livere.com/js/embed.dist.js';
		       j.async = true;

		       e.parentNode.insertBefore(j, e);
		   })(document, 'script');
			</script>
		<noscript> 为正常使用来必力评论功能请激活JavaScript</noscript>
		</div>
		<!-- City版安装代码已完成 -->
    
  </div>


        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap" >
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview">
            站点概览
          </li>
        </ul>
      

      <section class="site-overview sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
          <img class="site-author-image" itemprop="image"
               src="/images/avatar.png"
               alt="Kingname" />
          <p class="site-author-name" itemprop="name">Kingname</p>
          <p class="site-description motion-element" itemprop="description">MediaTek软件工程师，极客学院讲师。</p>
        </div>
        <nav class="site-state motion-element">
          <div class="site-state-item site-state-posts">
            <a href="/archives">
              <span class="site-state-item-count">35</span>
              <span class="site-state-item-name">日志</span>
            </a>
          </div>

          
            <div class="site-state-item site-state-categories">
              
                <span class="site-state-item-count">13</span>
                <span class="site-state-item-name">分类</span>
              
            </div>
          

          
            <div class="site-state-item site-state-tags">
              <a href="/tags">
                <span class="site-state-item-count">54</span>
                <span class="site-state-item-name">标签</span>
              </a>
            </div>
          

        </nav>

        
          <div class="feed-link motion-element">
            <a href="/atom.xml" rel="alternate">
              <i class="fa fa-rss"></i>
              RSS
            </a>
          </div>
        

        <div class="links-of-author motion-element">
          
            
              <span class="links-of-author-item">
                <a href="https://github.com/kingname" target="_blank" title="Github">
                  
                    <i class="fa fa-fw fa-globe"></i>
                  
                  Github
                </a>
              </span>
            
              <span class="links-of-author-item">
                <a href="mailto:contact@kingname.info" target="_blank" title="Mail">
                  
                    <i class="fa fa-fw fa-globe"></i>
                  
                  Mail
                </a>
              </span>
            
          
        </div>

        
        

        
        
          <div class="links-of-blogroll motion-element links-of-blogroll-inline">
            <div class="links-of-blogroll-title">
              <i class="fa  fa-fw fa-globe"></i>
              Friends
            </div>
            <ul class="links-of-blogroll-list">
              
                <li class="links-of-blogroll-item">
                  <a href="http://chuangzaoshi.com/" title="创造狮" target="_blank">创造狮</a>
                </li>
              
            </ul>
          </div>
        

        


      </section>

      
      <!--noindex-->
        <section class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
              
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-2"><a class="nav-link" href="#多特征"><span class="nav-number">1.</span> <span class="nav-text">多特征</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#梯度下降"><span class="nav-number">2.</span> <span class="nav-text">梯度下降</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#多变量的梯度下降"><span class="nav-number">2.1.</span> <span class="nav-text">多变量的梯度下降</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#特征缩放"><span class="nav-number">2.2.</span> <span class="nav-text">特征缩放</span></a></li><li class="nav-item nav-level-3"><a class="nav-link" href="#学习率"><span class="nav-number">2.3.</span> <span class="nav-text">学习率</span></a></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#特征与多项式回归"><span class="nav-number">3.</span> <span class="nav-text">特征与多项式回归</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#正规方程"><span class="nav-number">4.</span> <span class="nav-text">正规方程</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#总结"><span class="nav-number">5.</span> <span class="nav-text">总结</span></a><ol class="nav-child"><li class="nav-item nav-level-3"><a class="nav-link" href="#小广告："><span class="nav-number">5.1.</span> <span class="nav-text">小广告：</span></a></li></ol></li></ol></div>
            

          </div>
        </section>
      <!--/noindex-->
      

    </div>
  </aside>


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright" >
  
  &copy; 
  <span itemprop="copyrightYear">2017</span>
  <span class="with-love">
    <i class="fa fa-heart"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">Kingname</span>
</div>


<div class="powered-by">
  由 <a class="theme-link" href="https://hexo.io">Hexo</a> 强力驱动
</div>

<div class="theme-info">
  主题 -
  <a class="theme-link" href="https://github.com/iissnan/hexo-theme-next">
    NexT.Mist
  </a>
</div>


        

        
      </div>
    </footer>

    <div class="back-to-top">
      <i class="fa fa-arrow-up"></i>
    </div>
  </div>

  

<script type="text/javascript">
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>









  



  
  <script type="text/javascript" src="/lib/jquery/index.js?v=2.1.3"></script>

  
  <script type="text/javascript" src="/lib/fastclick/lib/fastclick.min.js?v=1.0.6"></script>

  
  <script type="text/javascript" src="/lib/jquery_lazyload/jquery.lazyload.js?v=1.9.7"></script>

  
  <script type="text/javascript" src="/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script type="text/javascript" src="/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script type="text/javascript" src="/lib/fancybox/source/jquery.fancybox.pack.js?v=2.1.5"></script>


  


  <script type="text/javascript" src="/js/src/utils.js?v=5.1.0"></script>

  <script type="text/javascript" src="/js/src/motion.js?v=5.1.0"></script>



  
  

  
  <script type="text/javascript" src="/js/src/scrollspy.js?v=5.1.0"></script>
<script type="text/javascript" src="/js/src/post-details.js?v=5.1.0"></script>



  


  <script type="text/javascript" src="/js/src/bootstrap.js?v=5.1.0"></script>



  





  
  

  
  
    <script type="text/x-mathjax-config">
      MathJax.Hub.Config({
        tex2jax: {
          inlineMath: [ ['$','$'], ["\\(","\\)"]  ],
          processEscapes: true,
          skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
        }
      });
    </script>

    <script type="text/x-mathjax-config">
      MathJax.Hub.Queue(function() {
        var all = MathJax.Hub.getAllJax(), i;
        for (i=0; i < all.length; i += 1) {
          all[i].SourceElement().parentNode.className += ' has-jax';
        }
      });
    </script>
    <script type="text/javascript" src="//cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script>
  


  

  

  


</body>
</html>
